Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.
translated by 谷歌翻译
Graph neural networks (GNNs) find applications in various domains such as computational biology, natural language processing, and computer security. Owing to their popularity, there is an increasing need to explain GNN predictions since GNNs are black-box machine learning models. One way to address this is counterfactual reasoning where the objective is to change the GNN prediction by minimal changes in the input graph. Existing methods for counterfactual explanation of GNNs are limited to instance-specific local reasoning. This approach has two major limitations of not being able to offer global recourse policies and overloading human cognitive ability with too much information. In this work, we study the global explainability of GNNs through global counterfactual reasoning. Specifically, we want to find a small set of representative counterfactual graphs that explains all input graphs. Towards this goal, we propose GCFExplainer, a novel algorithm powered by vertex-reinforced random walks on an edit map of graphs with a greedy summary. Extensive experiments on real graph datasets show that the global explanation from GCFExplainer provides important high-level insights of the model behavior and achieves a 46.9% gain in recourse coverage and a 9.5% reduction in recourse cost compared to the state-of-the-art local counterfactual explainers.
translated by 谷歌翻译
Lagrangian和Hamiltonian神经网络(分别是LNN和HNN)编码强诱导偏见,使它们能够显着优于其他物理系统模型。但是,到目前为止,这些模型大多仅限于简单的系统,例如摆和弹簧或单个刚体的身体,例如陀螺仪或刚性转子。在这里,我们提出了一个拉格朗日图神经网络(LGNN),可以通过利用其拓扑来学习刚体的动态。我们通过学习以刚体为刚体的棒的绳索,链条和桁架的动力学来证明LGNN的性能。 LGNN还表现出普遍性 - 在链条上训练了一些细分市场的LGNN具有概括性,以模拟具有大量链接和任意链路长度的链条。我们还表明,LGNN可以模拟看不见的混合动力系统,包括尚未接受过培训的酒吧和链条。具体而言,我们表明LGNN可用于建模复杂的现实世界结构的动力学,例如紧张结构的稳定性。最后,我们讨论了质量矩阵的非对角性性质及其在复杂系统中概括的能力。
translated by 谷歌翻译
具有基于物理的诱导偏见的神经网络,例如拉格朗日神经网络(LNN)和汉密尔顿神经网络(HNN),通过编码强诱导性偏见来学习物理系统的动态。另外,还显示出适当的感应偏见的神经odes具有相似的性能。但是,当这些模型应用于基于粒子的系统时,本质上具有转导性,因此不会推广到大型系统尺寸。在本文中,我们提出了基于图的神经ode gnode,以了解动力学系统的时间演变。此外,我们仔细分析了不同电感偏差对GNODE性能的作用。我们表明,与LNN和HNN类似,对约束进行编码可以显着提高GNODE的训练效率和性能。我们的实验还评估了该模型最终性能的其他归纳偏差(例如纽顿第三定律)的价值。我们证明,诱导这些偏见可以在能量违规和推出误差方面通过数量级来增强模型的性能。有趣的是,我们观察到,经过最有效的电感偏见训练的GNODE,即McGnode,优于LNN和HNN的图形版本,即Lagrangian Graph Networks(LGN)和Hamiltonian Graph网络(HGN)在能量侵犯的方面差异,该图表的差异大约是能量侵犯网络(HGN)摆钟系统的4个数量级,春季系统的数量级约为2个数量级。这些结果表明,可以通过诱导适当的电感偏见来获得基于节点的系统的能源保存神经网络的竞争性能。
translated by 谷歌翻译
物理系统通常表示为粒子的组合,即控制系统动力学的个体动力学。但是,传统方法需要了解几个抽象数量的知识,例如推断这些颗粒动力学的能量或力量。在这里,我们提出了一个框架,即拉格朗日图神经网络(LGNN),它提供了强烈的感应偏见,可以直接从轨迹中学习基于粒子系统的拉格朗日。我们在具有约束和阻力的挑战系统上测试我们的方法 - LGNN优于诸如前馈拉格朗日神经网络(LNN)等基线,其性能提高。我们还通过模拟系统模拟系统的两个数量级比受过训练的一个数量级和混合系统大的数量级来显示系统的零弹性通用性,这些数量级是一个独特的功能。与LNN相比,LGNN的图形体系结构显着简化了学习,其性能在少量少量数据上的性能高25倍。最后,我们显示了LGNN的解释性,该解释性直接提供了对模型学到的阻力和约束力的物理见解。因此,LGNN可以为理解物理系统的动力学提供纯粹的填充,这纯粹是从可观察的数量中。
translated by 谷歌翻译
混合整数程序(MIP)通常通过分支结合算法解决。最近,学会模仿专家强的分支启发式的快速近似,由于它成功地减少了解决MIP的运行时间,因此引起了人们的关注。但是,现有的学习与分支方法假设整个培训数据都可以在一次培训中获得。这个假设通常不正确,如果随着时间的推移以连续的方式提供培训数据,现有技术会遭受灾难性遗忘。在这项工作中,我们研究了迄今未开发的终身学习范式,以在混合整数程序上分支。为了减轻灾难性的遗忘,我们提出了Limip,该limip是由以两部分图的形式对MIP实例进行建模的想法,我们使用双方图形注意力网络将其映射到嵌入式空间。这种丰富的嵌入空间避免了通过应用知识蒸馏和弹性重量巩固的灾难性遗忘,其中我们学习参数的关键是保持疗效,因此受到保护,免受明显的漂移。我们评估了一系列NP硬性问题的利润,并确定与现有基线相比,在面对终身学习时,Limip的速度高达50%。
translated by 谷歌翻译
随着食品交付平台的日益普及,在这些平台中研究“演出”工人的工作条件已变得相关,尤其是为他们提供公平的工资,合理的工作时间和工作可用性的透明度。但是,对这些问题的任何解决方案都不得降低客户体验,并具有成本效益,以确保平台愿意采用它们。我们建议使用Work4Food,该食品为交付代理提供收入保证,同时最大程度地降低平台成本并确保客户满意度。 Work4food确保满足收入保证的方式不会导致工作时间增加或降低环境影响。为了结合这些目标,工作4食品通过控制系统中的代理数量并根据代理人(例如代理位置,评级等因素)向代理提供动态付款保证。食品交付平台并在手头的多维目标方面建立了对最新技术的优势。
translated by 谷歌翻译
图表神经网络(GNNS)在行业中,由于各种预测任务的表现令人印象深刻,在行业中获得了显着的采用。然而,单独的性能是不够的。任何广泛部署的机器学习算法都必须强大到对抗性攻击。在这项工作中,我们调查了GNN的这个方面,识别漏洞,并将它们链接到图形属性,可能导致更安全和强大的GNN的开发。具体而言,我们制定任务和模型不可知逃避攻击问题,其中对手修改了测试图以影响任何未知下游任务的性能。提出的算法,盛大($ GR $ APH $ A $ TTACK通过$ N $ eighbors $ D $ Istorration)显示节点邻域的失真在急剧损害预测性能方面是有效的。虽然邻里失真是一个NP难题,但是宏伟设计了通过具有深入$ Q $ -Learning的图形同构网络的新组合的启发式。关于实际数据集的广泛实验表明,平均而言,盛大的速度高达50美元,而不是最先进的技术,同时速度超过100美元。
translated by 谷歌翻译
子图相似度搜索是图形分析中的基本操作员。在此框架中,给定查询图和图形数据库,目标是识别结构图的数据库图的子图,这些图是与查询相似的。子图编辑距离(SED)是子图相似度最有表现力的措施之一。在这项工作中,我们研究了从训练的图形对和他们的SED值训练SED的问题。为此,我们设计了一种名为Neurosed的新型暹罗图形神经网络,其学习嵌入空间,具有丰富的结构,让人想起SED。借助专门制作的归纳偏差,不仅可以实现高精度,而且确保预测的SED,如真正的SED,满足三角不等式。设计足够通用,也可以模拟图表编辑距离(GED),同时确保预测的GED空间是指标,如真正的GED空间。对于SED和GED的真实图数据集进行了广泛的实验,建立了神经传播的RMSE比现有技术的约2倍,并且比最快的基线快约18倍。此外,由于其对独立的嵌入和理论性质,神经翻转允许大约3个峰值检索图形和子图。
translated by 谷歌翻译
A hallmark of human intelligence is the ability to learn new concepts purely from language. Several recent approaches have explored training machine learning models via natural language supervision. However, these approaches fall short in leveraging linguistic quantifiers (such as 'always' or 'rarely') and mimicking humans in compositionally learning complex tasks. Here, we present LaSQuE, a method that can learn zero-shot classifiers from language explanations by using three new strategies - (1) modeling the semantics of linguistic quantifiers in explanations (including exploiting ordinal strength relationships, such as 'always' > 'likely'), (2) aggregating information from multiple explanations using an attention-based mechanism, and (3) model training via curriculum learning. With these strategies, LaSQuE outperforms prior work, showing an absolute gain of up to 7% in generalizing to unseen real-world classification tasks.
translated by 谷歌翻译